Super Weights in LLMs and the Failure of Selective Training
LLM 中 Super Weight 的发现与选择性训练之败
🧭 参数高效微调 · Super Weight 分析 ★ 深度解读
Amazon Web Services
证明重要性不等于可孤立训练性：微调 Super Weight 完全失效，而全层低秩更新（LoRA）成功且对位置限制鲁棒
📌 工作参考价值（4 点）
- 微调策略选择：不要试图仅训练少量重要参数（基于幅度或剪枝后的子集），即使它们对模型质量至关重要；实验显示训练100–8192个 Super Weight 准确率跌至随机，同样大小的随机稀疏训练（避开 Super Weight）却能超过基线。在电商/推荐场景微调 LLM 做 query 理解、商品描述生成时，直接使用 LoRA 等全层低秩更新，无需特意挑选重要参数。
- LoRA 位置冻结的冗余性：在 attention 层中冻结与 down_proj Super Weight 坐标对应的位置（占 LoRA 参数的 0.5–6.8%）对性能统计无影响（10 seeds p>0.05），且 LoRA 自身更新中最高幅值位置也不是瓶颈。这意味着部署 LoRA 时，不需要针对下游关键权重的位置做 mask 或缩放，低秩结构本身已提供协调性。
- 结构化分解的指导意义：理论证明稀疏更新只捕获微调子空间的 k/N，而低秩分解的覆盖维度是稀疏的 256×。在设计参数高效微调方案时，应优先选择具有层级别协调的结构（如低秩、SVD 基冻结），避免坐标对齐的稀疏选择，无论那些坐标看起来多重要。
- 异常权重的处理：若模型通过激活尖峰识别出 Super Weight 存在，标准 LoRA 微调足以成功，且 Super Weight 在微调期间几乎不变（幅度变化仅 0.03%），LoRA 通过重新路由表征来利用固定的高增益放大器。在需要持续适配推荐模型时，可信任 LoRA 的隐式正则，无需额外冻结或特殊约束 Super Weight 参数。